雷鋒網(wǎng) AI 科技評(píng)論：雖然 ICCV 2019 落幕已近兩周，但是這場(chǎng)對(duì)于華人研究者而言具備「轉(zhuǎn)折點(diǎn)」意義的國(guó)際學(xué)術(shù)頂會(huì)在大家心中掀起的波瀾，想必依舊未了。

　　在今年這場(chǎng) CV 領(lǐng)域的學(xué)術(shù)盛宴中，我們一如既往地看到了不少長(zhǎng)期活躍在國(guó)際學(xué)術(shù)舞臺(tái)上的華人研究者老面孔，與此同時(shí)，也有一些新面孔帶著豐碩的學(xué)術(shù)成果出現(xiàn)在了大家視線的聚焦點(diǎn)。

　　其中就包括今年帶了 7 篇論文參加 ICCV 的來(lái)自香港大學(xué)的羅平教授。作為一位在將深度學(xué)習(xí)應(yīng)用到 CV 領(lǐng)域中做出了很多開(kāi)創(chuàng)性工作的研究者，他的相關(guān)工作對(duì)于這一細(xì)分領(lǐng)域的研究者而言可能并不陌生：最早將深度學(xué)習(xí)用于行人、人臉?lè)指睢⑴c人臉生成，首先提出 CNN 求解 MRF 用于語(yǔ)義分割等。與此同時(shí)，他做的人臉關(guān)鍵點(diǎn)工作還是多任務(wù)深度學(xué)習(xí)的代表性工作。

　　值得一提的是，羅平教授與今年在 ICCV 上獨(dú)占鰲頭的商湯科技也有著不少淵源和交集： 2011 至 2014 年在港中文攻讀博士時(shí)師從湯曉鷗和王曉剛兩位計(jì)算機(jī)視覺(jué)領(lǐng)域的領(lǐng)軍人物，2016 至 2017 年又曾在商湯研究院訪問(wèn)任研究總監(jiān)。

　　在 ICCV 現(xiàn)場(chǎng)，AI 科技評(píng)論也基于他本次帶來(lái)的工作成果跟他聊了聊，不僅如此，對(duì)話也談到了羅平教授最初開(kāi)始研究將深度學(xué)習(xí)應(yīng)用到 CV 領(lǐng)域的契機(jī)和背景以及湯曉鷗和王曉剛兩位老師對(duì)他職業(yè)生涯所帶來(lái)了影響。

　　AI 科技評(píng)論：您的研究組今年在 ICCV 發(fā)表了 7 篇論文，主題涉及到深度表征學(xué)習(xí)、深度自學(xué)習(xí)、多目標(biāo)對(duì)抗網(wǎng)絡(luò)等，其中哪幾篇是您比較看重的，采用了怎樣的方法，實(shí)現(xiàn)了怎樣的成果？

　　羅平：我們今年在 ICCV 發(fā)表的 7 篇論文中，涉及到白化和歸一化方法（Switchable Whitening）、結(jié)構(gòu)化搜索 NAS、相機(jī)重定位、服裝圖片檢索、噪聲標(biāo)簽自學(xué)習(xí)方法、網(wǎng)絡(luò)的攻擊和防御等研究主題。

　　在結(jié)構(gòu)化搜索的工作中，跟以往 DARTS 類的多路徑方法 不同，我們做的是單路徑 NAS，這種方法的優(yōu)勢(shì)是計(jì)算量比較低，缺點(diǎn)是表達(dá)能力也較低，即能夠搜索到的結(jié)構(gòu)較少。對(duì)此，我們定義了卷積操作的連續(xù)可微空間，即把一些卷積操作建模成一個(gè)連續(xù)的可微模塊，這些模塊能夠表示任何卷積操作——即便是沒(méi)有被手動(dòng)定義出來(lái)的操作也能表示，從而既能保證表達(dá)能力，又能夠通過(guò)單輪搜索保證較高的搜索速度。

　　另一項(xiàng)白化和歸一化工作叫做 Switchable Whitening。每個(gè)神經(jīng)網(wǎng)絡(luò)都需要做歸一化，比如說(shuō) Batch Normalization（批量標(biāo)準(zhǔn)化），它其實(shí)是白化的一種特殊形式，而在這項(xiàng)工作中，我們將白化和歸一化進(jìn)行了融合，可以為整個(gè)網(wǎng)絡(luò)的不同層和圖像學(xué)習(xí)白化和歸一化方式。此項(xiàng)工作，與探討前向傳播的計(jì)算和反向傳播的二階梯度優(yōu)化算法有著不少聯(lián)系。

　　羅平：挑戰(zhàn)和困難肯定是有的，這里可以分享下我的一個(gè)學(xué)生的故事，我們今年 ICCV 的 7 篇論文中，有 2 篇論文的第一作者都是他。

　　他本科期間學(xué)的專業(yè)側(cè)重物理，博士剛開(kāi)始轉(zhuǎn)向現(xiàn)在的研究領(lǐng)域，適應(yīng)得并沒(méi)有那么快，但他具備挖掘新問(wèn)題的能力。例如他的從大量噪聲標(biāo)簽中自學(xué)習(xí)特征表達(dá)（Deep Self-Learning From Noisy Labels）這項(xiàng)工作其實(shí)已經(jīng)開(kāi)展了一年，但是在這個(gè)過(guò)程中又發(fā)現(xiàn)了其他新的問(wèn)題，例如網(wǎng)絡(luò)的攻擊和防御，所以他同時(shí)進(jìn)行了這兩項(xiàng)研究工作，并在 ICCV 2019 上一下發(fā)表了 2 篇一作論文。

　　羅平：我覺(jué)得今年 ICCV 有一些還不錯(cuò)的文章，就比如最佳論文《SinGAN: Learning a Generative Model from a Single Natural Image》，雖然這篇論文受到了一些質(zhì)疑，但我相信之后會(huì)有非常多的研究者去開(kāi)展更加深入的研究，其中也包括我們團(tuán)隊(duì)正準(zhǔn)備投稿 CVPR 2020 的一篇文章。

　　AI 科技評(píng)論：今年 ICCV 華人在論文數(shù)量上的表現(xiàn)一如既往地出色，然而在獎(jiǎng)項(xiàng)上卻稍有些遺憾，您作為華人研究者中的一員，如何評(píng)價(jià)華人在本次會(huì)議上的整體表現(xiàn)？

　　與此同時(shí)，今年 ICCV 的 Workshop 很多都是華人組織的。比如說(shuō)今年我們也組織了一個(gè)主題為「統(tǒng)計(jì)深度學(xué)習(xí)」的 Workshop，探索如何從更深的層次去解釋神經(jīng)網(wǎng)絡(luò)。是本屆 ICCV 最大的 workshop 之一。

　　AI 科技評(píng)論：您在計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)做出了一系列開(kāi)創(chuàng)性的成果，例如在 2012 年就開(kāi)始將深度學(xué)習(xí)用于行人、人臉?lè)指睢⑴c人臉生成等領(lǐng)域，您從什么時(shí)候開(kāi)始做這個(gè)方向的研究？當(dāng)時(shí)是基于怎樣的契機(jī)選擇這一研究方向？

　　羅平：我們 2011 年就開(kāi)始做深度學(xué)習(xí)了，確實(shí)開(kāi)始得比較早。湯曉鷗老師團(tuán)隊(duì)算得上是亞洲計(jì)算機(jī)視覺(jué)領(lǐng)域最早進(jìn)行深度學(xué)習(xí)研究的團(tuán)隊(duì)。我一開(kāi)始做的就是人臉生成，時(shí)間上相比于 2014 年提出來(lái)的 GAN 要早很多，我在 2011 年的第一工作主要是讓一個(gè)側(cè)臉的圖像直接恢復(fù)為一個(gè)正臉的圖像。

　　我和歐陽(yáng)萬(wàn)里老師是湯老師組里最早做深度學(xué)習(xí)的兩個(gè)人，一個(gè)在湯老師所在的信息工程系，另一個(gè)在王曉剛老師的電子工程系，也就是一個(gè)系一個(gè)人開(kāi)始嘗試做深度學(xué)習(xí)，而當(dāng)時(shí)也只有我們兩個(gè)人在嘗試，因?yàn)榇蠹叶疾恢郎疃葘W(xué)習(xí)是什么以及能夠做什么。

　　我們也并沒(méi)有一開(kāi)始就嘗試使用卷積神經(jīng)網(wǎng)絡(luò)，因?yàn)榇蠹议_(kāi)始關(guān)注到卷積神經(jīng)網(wǎng)絡(luò)，其實(shí)是在 2012 年的 ImageNet 比賽上取得了很大的成功以后。我們最早的時(shí)候使用的還是一些例如玻爾茲曼機(jī)這樣的模型，而這種模型對(duì)于人臉生成和人臉?lè)指罘矫娴墓ぷ鞫加胁诲e(cuò)的效果，當(dāng)時(shí)整個(gè)組也逐漸意識(shí)到這應(yīng)該是一個(gè)非常有前景的研究方向。

　　有趣的是，我們 2014 年在 NIPS（后改名 NerulPS）上發(fā)表的工作就是人臉生成的工作，即網(wǎng)絡(luò)可以輸入任意角度的人臉并輸出任意角度的人臉，而 GAN 也是在 2014 年發(fā)布的。

　　近幾年來(lái)，我個(gè)人的工作重點(diǎn)慢慢轉(zhuǎn)向一些基本的深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和分析，比如白化和歸一化、通過(guò)構(gòu)造基本操作的連續(xù)可微空間改進(jìn)單路徑網(wǎng)絡(luò)結(jié)構(gòu)化搜索等。

　　羅平：我博士期間的導(dǎo)師是湯曉鷗老師和王曉剛老師，他們給我?guī)?lái)的影響是非常大的，包括從論文選題到實(shí)驗(yàn)到寫作風(fēng)格，剛開(kāi)始都需要通過(guò)學(xué)習(xí)和模仿來(lái)得到提高。

　　后來(lái)參加了很多不同的會(huì)議，例如 CVPR、ICML 上都可以讀到非常多風(fēng)格不一的論文，通過(guò)持續(xù)學(xué)習(xí)然后就逐漸發(fā)展出了自己的風(fēng)格，比如說(shuō)我們團(tuán)隊(duì)最近在 ICLR2019 發(fā)表的 2 篇論文、在 ICML2019 發(fā)表的 1 篇論文，都能夠反映出我們逐漸形成的一些風(fēng)格和研究方向。

　　AI 科技評(píng)論：了解到您在 5 年內(nèi)發(fā)表論文 70 余篇，Google Scholar 引用 8000 多次，作為一位學(xué)術(shù)成果豐碩的年輕一代研究者，從學(xué)術(shù)論文的角度，對(duì)于其他后輩研究者有什么經(jīng)驗(yàn)或者說(shuō)方法論可以分享的嗎？

　　有一些研究工作可能已經(jīng)結(jié)出了比較成熟的果子，并且生長(zhǎng)在比較低的位置，學(xué)生可以非常輕易地摘到，然而這樣的論文即便發(fā)表出來(lái)了影響力也不會(huì)很大，并且現(xiàn)在學(xué)生們發(fā)表的論文數(shù)量越來(lái)越多，比如我們?cè)阡浫?PHD 申請(qǐng)者的時(shí)候，除了看在頂會(huì)上發(fā)表論文的數(shù)量，還會(huì)參考真正做出的研究成果——比方說(shuō)論文中研究的問(wèn)題是否具有足夠的挑戰(zhàn)性、選題是否多樣、方法是否足夠創(chuàng)新。

　　論文摘要：「多模態(tài)感知」對(duì)于發(fā)展交互式智能至關(guān)重要。在羅平等人的這樣工作中，他們提出了一個(gè)新的任務(wù)，即利用伴隨視頻信息修補(bǔ)丟失的音頻片段。

　　作者指出了兩個(gè)關(guān)鍵的問(wèn)題：（1）要對(duì)聲譜圖進(jìn)行操作，而不是對(duì)原始音頻進(jìn)行操作，只有這樣才能夠更好地利用深度語(yǔ)義圖像修復(fù)的最新進(jìn)展，才能夠超越傳統(tǒng)音頻修復(fù)的局限性；（2）若想合成視頻指導(dǎo)下的音頻，就需要將音頻和視頻進(jìn)行同步學(xué)習(xí)，獲得音視頻的聯(lián)合特征。

　　為了便于進(jìn)行大規(guī)模的研究，作者收集了一個(gè)新的多模態(tài)樂(lè)器演奏數(shù)據(jù)集 MUSIC-ExtraSolo（MUSICES）。他們通過(guò)大量的實(shí)驗(yàn)表明，作者提出的框架能夠在有或沒(méi)有視覺(jué)環(huán)境的情況下，修復(fù)現(xiàn)實(shí)的和變化的音頻片段。更重要的是，其合成音頻片段與視頻片段是一致的。目前代碼、數(shù)據(jù)集和結(jié)果都已經(jīng)公開(kāi)。

　　論文摘要：現(xiàn)代深度神經(jīng)網(wǎng)絡(luò)通常容易受到對(duì)抗性樣本的攻擊，隨著第一種基于優(yōu)化的攻擊方法提出，隨后又有一系列提高攻擊性能和速度的方法被提出。近年來(lái)，基于生成的方法受到了廣泛的關(guān)注，因?yàn)樗鼈冎苯邮褂们梆伨W(wǎng)絡(luò)生成對(duì)抗樣本，從而避免了基于優(yōu)化和基于梯度的方法中耗時(shí)的迭代攻擊過(guò)程。但是，當(dāng)前基于生成的方法只能攻擊一個(gè)模型中的一個(gè)特定目標(biāo)（或類別），它們并不適用于通常具有成百上千個(gè)類別的真實(shí)分類系統(tǒng)。

　　在這篇文章中，作者提出了一個(gè)多目標(biāo)對(duì)抗網(wǎng)絡(luò)（Multi-target Adversarial Network, MAN），該網(wǎng)絡(luò)可以使用單個(gè)模型生成多目標(biāo)對(duì)抗樣本。通過(guò)將指定的類別信息合并到中間特征（intermediate features）中，該模型可以在運(yùn)行過(guò)程中攻擊目標(biāo)分類模型的任何類別。

　　實(shí)驗(yàn)表明，所提出的 MAN 模型在多目標(biāo)攻擊任務(wù)和單目標(biāo)攻擊任務(wù)中均能產(chǎn)生比以前最先進(jìn)的方法更強(qiáng)的攻擊效果，并且具有更好的可傳遞性。作者進(jìn)一步使用 MAN 生成的對(duì)抗樣本來(lái)提高分類模型的魯棒性。當(dāng)受到各種方法的攻擊時(shí)，它還可以比其他方法獲得更好的分類精度。

　　論文摘要：規(guī)范化方法是卷積神經(jīng)網(wǎng)絡(luò)（CNN）的基本組成部分。它們使用在預(yù)定義像素集中估計(jì)的統(tǒng)計(jì)數(shù)據(jù)來(lái)標(biāo)準(zhǔn)化或白化數(shù)據(jù)。與為特定任務(wù)設(shè)計(jì)歸一化技術(shù)的現(xiàn)有工作不同，作者提出了可切換白化（Switchable Whitening，SW），它提供了統(tǒng)一不同白化方法和標(biāo)準(zhǔn)化方法的通用形式。

　　首先，SW 為不同的任務(wù)自適應(yīng)地選擇合適的白化或標(biāo)準(zhǔn)化統(tǒng)計(jì)數(shù)據(jù)，使其非常適合廣泛的任務(wù)而無(wú)需手動(dòng)設(shè)計(jì)。

　　其次，通過(guò)整合不同規(guī)范化工具的優(yōu)勢(shì)，SW 在各種具有挑戰(zhàn)性的基準(zhǔn)測(cè)試中顯示出與同類產(chǎn)品相比的持續(xù)改進(jìn)。

　　論文摘要：在機(jī)器人技術(shù)和自動(dòng)駕駛等應(yīng)用中，相機(jī)重定位是一項(xiàng)重要且具有挑戰(zhàn)性的任務(wù)。最近，基于檢索的方法已被認(rèn)為是一個(gè)有前途的方向，因?yàn)樗鼈兛梢暂p松地推廣到新的場(chǎng)景中。作者在這篇論文中提到，他們發(fā)現(xiàn)以前的方法性能存在瓶頸，原因在于檢索模塊。這些方法對(duì)檢索和相對(duì)姿勢(shì)回歸任務(wù)使用相同的特征，這在學(xué)習(xí)中可能存在沖突。

　　為此，作者提出了一種基于粗糙到精細(xì)（coarse-to-fine retrieval）檢索的深度學(xué)習(xí)框架。該框架包括三個(gè)步驟：1）基于圖像的粗糙檢索；2）基于姿勢(shì)的精細(xì)檢索；3）精確的相對(duì)姿勢(shì)回歸。

　　使用這個(gè)精心設(shè)計(jì)的檢索模塊，相對(duì)姿態(tài)回歸任務(wù)可以相當(dāng)簡(jiǎn)單。作者設(shè)計(jì)了具有批次硬采樣準(zhǔn)則和兩階段檢索的新型檢索損失，以定位適合于相對(duì)姿態(tài)回歸任務(wù)的樣本。大量的實(shí)驗(yàn)表明，這個(gè)模型（CamNet）在室內(nèi)和室外數(shù)據(jù)集上都大大優(yōu)于最新方法。

　　論文摘要：匹配來(lái)自客戶和在線商店的服裝圖像在電子商務(wù)中具有豐富的應(yīng)用。現(xiàn)有算法將圖像編碼為全局特征向量，并使用全局表示進(jìn)行檢索。但是，關(guān)于衣服的歧視性本地信息卻被淹沒(méi)在這種全局表示中，導(dǎo)致性能欠佳。

　　為了解決此問(wèn)題，作者提出了一種基于相似金字塔的新的圖論網(wǎng)絡(luò)（GRNet），該算法通過(guò)使用多個(gè)比例的全局和局部表示來(lái)學(xué)習(xí)查詢和圖庫(kù)之間的相似性。相似度金字塔由相似度圖（Graph of similarity）表示，其中節(jié)點(diǎn)表示不同比例的服裝組件之間的相似度，并且最終匹配分?jǐn)?shù)是通過(guò)沿邊緣傳遞的消息獲得的。

　　在 GRNet 中，通過(guò)訓(xùn)練圖卷積網(wǎng)絡(luò)來(lái)解決圖推理，從而可以對(duì)齊突出的服裝組件以改善服裝檢索。為了方便將來(lái)的研究，作者引入了一個(gè)新的基準(zhǔn) FindFashion，其中包含邊界框、視圖、遮擋和裁剪的豐富注釋。

　　實(shí)驗(yàn)表明，GRNet 在兩個(gè)具有挑戰(zhàn)性的基準(zhǔn)上獲得了最新的最新結(jié)果，例如，將 DeepFashion 的前 1 位、前 20 位和前 50 位精度提高到 26％、64％和 75％（絕對(duì)改善率分別為 4％，10％和 10％），在大邊緣（large margins）方面優(yōu)于競(jìng)爭(zhēng)對(duì)手。在 FindFashion 上，GRNet 在所有經(jīng)驗(yàn)設(shè)置上均取得了顯著的改進(jìn)。

　　論文摘要：分組卷積將 ConvNets 的通道分為幾組，與常規(guī)卷積操作相比，取得了令人矚目的改進(jìn)。但是，現(xiàn)有模型（例如 ResNeXt）由于手動(dòng)定義組的數(shù)量為所有層上的常數(shù)，所以會(huì)有次優(yōu)性能的困擾。

　　為了解決這個(gè)問(wèn)題，作者提出了通過(guò)使用一種新的動(dòng)態(tài)分組卷積（DGConv）操作而構(gòu)建的可分組卷積網(wǎng)絡(luò)（GroupNet），這可以以端到端的方式學(xué)習(xí)分組的數(shù)量。這種方法具有幾個(gè)好處：（1）DGConv 提供了統(tǒng)一的卷積表示，并涵蓋了許多現(xiàn)有的卷積運(yùn)算，例如常規(guī)密集卷積，組卷積和深度卷積；（2）DGConv 是一種可微且靈活的操作，可從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)執(zhí)行各種卷積；（3）經(jīng)過(guò) DGConv 訓(xùn)練的 GroupNet 為不同的卷積層學(xué)習(xí)了不同數(shù)量的組。

　　實(shí)驗(yàn)表明，GroupNet 在準(zhǔn)確性和計(jì)算復(fù)雜性方面優(yōu)于 ResNet 和 ResNeXt。作者還首次進(jìn)行了內(nèi)省（Introspection）和可重復(fù)性研究，展示了訓(xùn)練組數(shù)量的學(xué)習(xí)動(dòng)態(tài)。

　　論文摘要：從干凈的數(shù)據(jù)進(jìn)行訓(xùn)練時(shí)，ConvNets 能夠取得良好的結(jié)果，但是從嘈雜的標(biāo)簽中學(xué)習(xí)就會(huì)大大降低性能，這個(gè)問(wèn)題目前仍然是一個(gè)挑戰(zhàn)性的問(wèn)題。

　　與以前受許多條件約束的工作（例如，讓模型不用于實(shí)際的噪聲案例）不同，本文的工作提出了一種新穎的深度自學(xué)習(xí)框架，無(wú)需額外的監(jiān)督即可在實(shí)際的噪聲數(shù)據(jù)集上訓(xùn)練強(qiáng)大的網(wǎng)絡(luò)。

　　該論文提議的方法有幾個(gè)吸引人的好處：（1）與大多數(shù)現(xiàn)有工作不同，它不依賴于噪聲標(biāo)簽分布的任何假設(shè)，從而使其對(duì)實(shí)際噪聲具有魯棒性；（2）不需要額外的干凈的監(jiān)督或輔助網(wǎng)絡(luò)來(lái)幫助訓(xùn)練；（3）提出了一種自學(xué)習(xí)框架，以迭代的端到端方式對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，這非常有效且高效。

　　在具有挑戰(zhàn)性的基準(zhǔn)（例如 Clothing1M 和 Food101-N）上進(jìn)行的實(shí)驗(yàn)表明，在所有經(jīng)驗(yàn)背景下，該方法均優(yōu)于同類方法。